昨天GPT-4发布，除了惊艳还是惊艳，OpenAI的进化速度超乎想象。 除此之外，最近我也在关注LLaMa((Large Language Model Meta AI) Facebook的大型语言模型，现在已经有很多基于它进行优化的项目 比如Standford, 号称7B model已经达到 OpenAI text-davinci-003效果 而我这里选择的是llama.cpp, 作者刚把whisper用cpp实现了一遍叫whisper.cpp, 还真是直接 整个安装过程还参考了这篇文章 LLaMa的优势 先看看我本地用了30B model的效果 Setup Steps 其中下载 LLaMA models，在这个PR里面可以找到磁力下载链接 下载完成之后可以看到目录文件是这个样子的，如果全部模型都下载的话是220G 运行LLaMA 如果上面所有的命令都跑完之后，目录结构大概是这个样子的，这里我用了7B/13B 运行的话可以把命令扔到个shell脚本里面，比如chat.sh 跑起来是这个样子 后来在PR里面找到一个脚本，可以改善对话持续的问题，回答质量也有一些提高 直接拿过来就可以用 今天也看到另外一个人说经过优化已经超过GPT 3.5, 本周五发布，让我们拭目以待。 Reference 如何本地运行LLaMA